When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs
多智能体强化学习何时提升LLM工作流：工作流、规模与策略共享的权衡
🧭 多Agent RL训练稳定性与工作流拓扑 ★ 深度解读
Oregon State University · Pennsylvania State University · Adobe Inc. · AG2AI, Inc.
多智能体RL训练通常提高精度，但稳定性由工作流拓扑与策略路由决定，隔离策略峰值高但后期退化，共享策略易被主导角色捕获
📌 工作参考价值（4 点）
- 在设计多Agent工作流时，必须监控每个角色的训练指标（如困惑度、梯度范数），而非仅看整体准确率，防止角色漂移。
- 对于有相同角色并行实例的拓扑（如投票、Orch-Workers），隔离策略（IP）会导致梯度放大，使该角色过快退化，可考虑共享策略或限制并行度。
- 在投票工作流中，聚合器输出的长度分布是关键诊断信号：若聚合器从简洁选择变为冗长阐述，表明共享策略已被投票角色捕获。
- 策略共享不是默认的稳定选择：工作流拓扑和任务决定了共享或隔离哪个更合适，应通过实验验证，而非盲目使用共享。